Cosby sinh ngày 12 tháng 7 năm 1937[7] tại Philadelphia, Pennsylvania.[8] Ông là một trong bốn người con trai của gia đình bà Anna Pearl (nhũ danh Hite), một người hầu và William Henry Cosby Sr.[8][9] Lúc còn nhỏ, bố của ông phải xa nhà để gia nhập quân ngũ trong Thế chiến thứ II. Khi đến trường, ông mô tả mình là một chàng hề của lớp.[10] Cosby là thủ lĩnh đội bóng chày kiêm lớp trưởng tại Trường công lập Mary Channing Wister ở Philadelphia.[11] Tại trường Trung học FitzSimons Junior, Cosby bắt đầu diễn kịch và tiếp tục đam mê thể thao.[12]

Cosby đến trường Trung học Central của Philadelphia, nơi ông chơi bóng vồ, bóng bầu dục, bóng chày và chạy điền kinh.[12] Ngoài ra, Cosby còn làm việc trước và sau giờ học, bán sản phẩm, giày dép và kệ tủ tại một siêu thị để giúp đỡ gia đình.[12] Ông chuyển đến Trung học Germantown nhưng không thể vượt quá lớp 10.[13] Thay vì học lại, ông nhận một công việc ở cửa hiệu sửa giày mà ông thích, nhưng không thể tưởng tượng mình làm việc này đến cuối đời.[12]

Năm 1956,[14] Cosby đăng ký đi Hải quân, phục vụ cho Thủy quân lục chiến Base Quantico, Virginia, Naval Station Argentia, Newfoundland và ở Bethesda Naval Hospital, Maryland.[15] Trong 4 năm bôn ba, Cosby làm công việc tại Bệnh viện Corpsman và Thủy quân lục chiến trong thời chiến tranh Triều Tiên.[15] Ông hoàn thành tốt nghiệp thông qua các khóa học tương ứng[16] và được trao một học bổng thể thao tại Đại học Temple của Philadelphia năm 1961.[17] Tại đó, ông học thể thao và chơi cho đội bóng bầu dục của trường.[cần dẫn nguồn] Khi ngày càng tiến bộ trong học tập, ông tiếp tục trau dồi khiếu hài hước, thường trêu đùa với những người bạn của mình. Khi bắt đầu phục vụ tại một quán rượu ở Philadelphia để kiếm tiền, ông nhận biết khả năng hài hước của mình. Sau khi sử dụng nhiều câu chuyện cười với khách hàng và thấy tiền bo tăng dần, ông quyết định bước lên sân khấu.[18]